Độ hội tụ Xích Markov Monte Carlo

Hội tụ của giải thuật Metropolis–Hastings. Xích Markov Monte Carlo đang cố tính xấp xỉ phân phối đường màu xanh với phân phối đường màu cam.

Thông thường, không khó để xây dựng một chuỗi Markov với các đặc tính mong muốn. Vấn đề khó khăn hơn là xác định có bao nhiêu bước cần thiết để hội tụ đến phân phối tĩnh trong một sai số chấp nhận được.[3] Một xích (chuỗi) tốt sẽ có tốc độ trộn nhanh, phân phối tĩnh đạt được nhanh chóng bắt đầu từ một vị trí tùy ý. Một phương pháp thực nghiệm tiêu chuẩn để đánh giá sự hội tụ là chạy một số xích Markov được mô phỏng độc lập và kiểm tra xem tỷ lệ phương sai giữa các xích và các phương sai trong xích cho tất cả các tham số được lấy mẫu là gần bằng 1 hay không.[3][4]

Thông thường, lấy mẫu Monte Carlo chuỗi Markov chỉ có thể gần đúng với phân phối mục tiêu vì luôn có hiệu ứng dư (residual effect) của vị trí bắt đầu.[5]

Nhiều phương pháp Monte Carlo theo phương pháp đi bộ ngẫu nhiên, di chuyển xung quanh phân phối cân bằng theo các bước tương đối nhỏ, không có xu hướng, cho các bước tiến hành theo cùng một hướng. Những phương pháp này dễ thực hiện và dễ phân tích, nhưng tiếc là có thể mất nhiều thời gian để "người đi bộ" khám phá hết không gian mẫu.[5]